Перейти к основному содержимому

9.2. Восстановление после сбоев

Масштабирование и отказоустойчивость Apache Ozone: Восстановление после сбоев​

Восстановление после сбоев в Apache Ozone позволяет обеспечивать высокую доступность данных и минимизировать потери при отказе отдельных узлов или компонентов кластера. В этом разделе рассмотрены методы и рекомендации для восстановления после сбоев, включая автоматическое восстановление реплик, использование резервных копий, а также мониторинг состояния компонентов для предотвращения потенциальных проблем.

1. Автоматическое восстановление реплик​

Apache Ozone поддерживает автоматическое восстановление реплик данных при сбоях узлов DataNode. Если один из узлов выходит из строя, система создаёт недостающие реплики на других доступных узлах, чтобы поддерживать заданный уровень репликации.

Основные параметры для настройки восстановления реплик​

  • ozone.scm.replication.wait.interval: Интервал между проверками на наличие недостающих реплик и их восстановлением.

    • Рекомендуемое значение: 10 секунд.
    • Пример: 
      <property>
        <name>ozone.scm.replication.wait.interval</name>
        <value>10s</value>
      </property>

  • ozone.scm.replication.max.retries: Максимальное количество попыток восстановления реплик для одного контейнера.

    • Пример: 
      <property>
        <name>ozone.scm.replication.max.retries</name>
        <value>5</value>
      </property>

Ручное восстановление недостающих реплик​

Если автоматическое восстановление не сработало, вы можете вручную восстановить реплики контейнера:

bin/ozone admin container recover <container-id>

Эта команда инициирует процесс восстановления недостающих реплик для указанного контейнера.

2. Резервное копирование и восстановление Ozone Manager (OM) и Storage Container Manager (SCM)​

OM и SCM управляют метаданными и контейнерами соответственно, поэтому их надёжность имеет ключевое значение для работоспособности кластера. Резервное копирование и регулярное восстановление этих компонентов помогает защитить данные от потерь.

Резервное копирование Ozone Manager​

  1. Создание резервной копии данных OM: Остановите OM перед созданием резервной копии, чтобы предотвратить изменение данных во время копирования.

    bin/ozone om --daemon stop
    cp -r /var/lib/ozone/om /backup/ozone/om
    bin/ozone om --daemon start

  2. Регулярное резервное копирование: Настройте автоматическое создание резервных копий для данных OM. Это можно сделать с помощью скриптов или систем управления резервным копированием, таких как Cron.

Резервное копирование Storage Container Manager​

  1. Создание резервной копии данных SCM: Остановите SCM перед созданием резервной копии.

    bin/ozone scm --daemon stop
    cp -r /var/lib/ozone/scm /backup/ozone/scm
    bin/ozone scm --daemon start

  2. Регулярное резервное копирование SCM: Подобно OM, регулярно создавайте резервные копии данных SCM, чтобы ускорить восстановление в случае сбоев.

Восстановление из резервной копии​

В случае сбоя OM или SCM можно восстановить их данные из резервной копии:

  1. Остановите OM или SCM.

  2. Скопируйте резервную копию на место исходных данных.

    cp -r /backup/ozone/om /var/lib/ozone/om
    cp -r /backup/ozone/scm /var/lib/ozone/scm

  3. Запустите OM или SCM после восстановления.

3. Настройка высокой доступности для отказоустойчивости​

Для обеспечения высокой доступности данных рекомендуется настроить OM и SCM в режиме высокой доступности (HA). Это позволяет избежать простоя и потерь данных при сбое одного из экземпляров.

Конфигурация высокой доступности для OM и SCM​

  1. Настройте несколько узлов OM и SCM: Используйте несколько экземпляров OM и SCM в кластере, указав их в конфигурации ozone-site.xml.

    <property>
       <name>ozone.om.nodes</name>
       <value>om1,om2,om3</value>
    </property>

    <property>
       <name>ozone.scm.nodes</name>
       <value>scm1,scm2,scm3</value>
    </property>

  2. Используйте Raft-протокол: Включите поддержку Raft-протокола для синхронизации данных между узлами OM и SCM. В кластере всегда будет один лидер, а остальные узлы будут фолловерами, что позволяет обеспечить согласованность данных.

  3. Мониторинг состояния лидера и фолловеров: Регулярно проверяйте состояние узлов, чтобы оперативно реагировать на возможные проблемы с доступностью лидера.

4. Мониторинг и оповещения​

Мониторинг и настройка оповещений — важные аспекты управления отказоустойчивостью кластера. Используйте системы мониторинга, такие как Prometheus и Grafana, для отслеживания состояния узлов, уровня репликации и производительности.

Основные метрики для мониторинга​

  • ozone.om.request.latency: Задержка обработки запросов OM.
  • ozone.scm.request.latency: Задержка обработки запросов SCM.
  • ozone.datanode.available_space: Доступное дисковое пространство на узлах DataNode.
  • ozone.scm.replica_count: Текущая информация о количестве реплик для контейнеров.
  • ozone.scm.stale.node.count и ozone.scm.dead.node.count: Количество устаревших и недоступных узлов DataNode.

Настройка оповещений​

Настройте оповещения на основе метрик, чтобы своевременно получать уведомления о проблемах. Например, можно настроить уведомления для случаев, когда:

  • Количество недоступных узлов DataNode превышает порог.
  • Репликация контейнеров снижается ниже минимального уровня.
  • Лидеры OM или SCM становятся недоступными.

5. Рекомендации по восстановлению после сбоев​

  1. Регулярно создавайте резервные копии данных OM и SCM: Резервные копии позволяют быстро восстановить данные и конфигурацию при сбое компонентов управления.

  2. Автоматизируйте мониторинг и оповещения: Используйте системы мониторинга для постоянного отслеживания состояния кластера и настройте автоматические оповещения для быстрого реагирования на проблемы.

  3. Настройте высокую доступность для OM и SCM: Использование нескольких узлов OM и SCM с поддержкой Raft-кластера повышает отказоустойчивость и уменьшает вероятность потери данных.

  4. Используйте регулярную балансировку данных: Балансировка контейнеров предотвращает перегрузку отдельных узлов и улучшает отказоустойчивость.

  5. Регулярно тестируйте восстановление: Проводите тестирование восстановления из резервных копий и выполнения операций по восстановлению реплик, чтобы убедиться в работоспособности процессов восстановления.

Итог​

Восстановление после сбоев в Apache Ozone — это комплексный процесс, включающий автоматическое восстановление реплик, резервное копирование, настройку высокой доступности и мониторинг состояния кластера. Систематический подход к отказоустойчивости и регулярный аудит состояния компонентов Ozone помогают минимизировать риски потери данных и обеспечивают стабильную работу кластера в случае сбоев.